Large language models (LLMs) have been shown to be able to perform new tasks based on a few demonstrations or natural language instructions. While these capabilities have led to widespread adoption, most LLMs are developed by resource-rich organizations and are frequently kept from the public. As a step towards democratizing this powerful technology, we present BLOOM, a 176B-parameter open-access language model designed and built thanks to a collaboration of hundreds of researchers. BLOOM is a decoder-only Transformer language model that was trained on the ROOTS corpus, a dataset comprising hundreds of sources in 46 natural and 13 programming languages (59 in total). We find that BLOOM achieves competitive performance on a wide variety of benchmarks, with stronger results after undergoing multitask prompted finetuning. To facilitate future research and applications using LLMs, we publicly release our models and code under the Responsible AI License.
translated by 谷歌翻译
简介：在房颤（AF）导管消融过程（CAP）期间记录了12条铅心电图（ECG）。如果没有长时间的随访评估AF复发（AFR），确定CAP是否成功并不容易。因此，AFR风险预测算法可以使CAP患者更好地管理。在这项研究中，我们从CAP前后记录的12铅ECG中提取功能，并训练AFR风险预测机学习模型。方法：从112例患者中提取前和后段段。该分析包括信号质量标准，心率变异性和由12铅ECG设计的形态生物标志物（总体804个功能）。在112名患者中，有43例AFR临床终点可用。这些用于使用前或后CAP特征来评估AFR风险预测的可行性。在嵌套的交叉验证框架内训练了一个随机的森林分类器。结果：发现36个特征在区分手术前和手术后具有统计学意义（n = 112）。对于分类，报告了接收器操作特性（AUROC）曲线下的区域，AUROC_PRE = 0.64，AUROC_POST = 0.74（n = 43）。讨论和结论：此初步分析表明AFR风险预测的可行性。这样的模型可用于改善盖帽管理。
translated by 谷歌翻译
医疗图像以高分辨率出现。高分辨率对于在早期发现恶性组织至关重要。然而，该决议在建模远距离依赖性方面提出了挑战。浅变压器消除了这个问题，但它们遭受了二次复杂性。在本文中，我们通过利用线性自我注意近似来解决这种复杂性。通过这种近似，我们提出了一个称为HCT的有效视觉模型，该模型代表高分辨率卷积变压器。HCT以明显降低的成本将变形金刚的优点带入了高分辨率图像。我们使用高分辨率乳房X线摄影数据集评估HCT。HCT明显优于其CNN对应物。此外，我们通过评估其有效的接收场来证明HCT对医学图像的适应性。编码可在https://bit.ly/3ykbhhf上获得。
translated by 谷歌翻译
尽管经过验证的大型变压器模型已被证明具有很高的能力解决自然语言任务，但处理长序列输入仍然是一个重大挑战。这样的任务之一就是长输入摘要，其中输入比大多数预验证的模型的最大输入上下文更长。通过一系列广泛的实验，我们研究了哪些模型架构变化和预处理范式可以最有效地适应经过预定的变压器以进行长输入摘要。我们发现，带有全局编码器代币的交错，块状变压器可以达到良好的性能和效率平衡，并且在长序列上有意义地改善了下游摘要性能。根据我们的发现，我们介绍了Pegasus-X，这是Pegasus模型的扩展，并具有额外的长输入预处理，以处理最多16K令牌的输入。 Pegasus-X在长输入摘要任务上实现了强劲的性能，与更大的模型相当，同时添加了很少的其他参数，并且不需要模型并行训练。
translated by 谷歌翻译
近年来，人类面孔的影子化化身已经走了很长一段路，但是该地区的研究受到缺乏公开可用的高质量数据集的限制。在这项工作中，我们介绍了Multiface，这是一种新的多视图，高分辨率的人脸数据集，该数据集是从13个身份的神经面部渲染研究中收集的13个身份。我们介绍了Mugsy，这是一种大型多摄像机设备，可捕获面部表现的高分辨率同步视频。 Multiface的目的是缩小学术界高质量数据的可访问性的差距，并使VR触觉研究能够进行研究。随着数据集的释放，我们对不同模型体系结构对模型的新观点和表达式的插值能力进行消融研究。通过有条件的VAE模型作为我们的基线，我们发现添加空间偏见，纹理翘曲场和残差连接可改善新型视图合成的性能。我们的代码和数据可在以下网址获得：https：//github.com/facebookresearch/multiface
translated by 谷歌翻译
反事实解释为从机器学习模型中获得预期结果的方法提供了信息。但是，这种解释对基础模型的某些现实世界变化（例如，重新训练模型，更改的超参数等）并不强大，质疑其在多种应用程序中的可靠性，例如信用贷款。在这项工作中，我们提出了一种新颖的策略 - 我们称之为Robx，以生成基于树的合奏，例如XGBoost的强大反事实。基于树的合奏在强大的反事实生成中提出了其他挑战，例如，它们具有非平滑和非差异的目标函数，并且在非常相似的数据上，它们可以在RETOR下的参数空间中进行很多更改。我们首先引入了一种新颖的指标（我们称之为反事实稳定性），该指标试图量化反事实的鲁棒性将是为了模拟重新训练下的变化，并具有理想的理论属性。我们提出的策略ROBX使用任何反事实生成方法（基本方法），并通过使用我们的度量反事实稳定性迭代地完善基本方法生成的反事实来搜索强大的反事实。我们将ROBX的性能与基于基准数据集的流行反事实生成方法（对于基于树的合奏）进行了比较。结果表明，我们的策略会产生反事实，这些反事实是强大的（实际模型更改后的有效性近100％），并且在现有最新方法上也是现实的（就局部异常因素而言）。
translated by 谷歌翻译
为了实现长文档理解的构建和测试模型，我们引入质量，具有中文段的多项选择QA DataSet，具有约5,000个令牌的平均长度，比典型的当前模型更长。与经过段落的事先工作不同，我们的问题是由阅读整个段落的贡献者编写和验证的，而不是依赖摘要或摘录。此外，只有一半的问题是通过在紧缩时间限制下工作的注释器来应答，表明略读和简单的搜索不足以一直表现良好。目前的模型在此任务上表现不佳（55.4％），并且落后于人类性能（93.5％）。
translated by 谷歌翻译
现代深度学习框架提供嵌入在Python中的必要的急切执行编程接口，以提供生产的开发体验。但是，深度学习从业者有时需要捕获和转换程序结构以进行性能优化，可视化，分析和硬件集成。我们研究了深度学习中使用的程序捕获和转型的不同设计。通过设计典型的深度学习用例而不是长尾部，可以为程序捕获和转换创建更简单的框架。我们在Torch.fx中应用了这一原理，是一个完全在Python写入的Pytorch的程序捕获和转换库，并通过ML从业者进行高开发人员生产力优化。我们存在案例研究，展示了Torch.fx如何实现先前在Pytorch生态系统中无法访问的工作流程。
translated by 谷歌翻译
2021-11-22
通过使用无人机和图像识别算法，目前正在大大简化重新造林的监测，这些识别算法已经证明是有效的彩色图像。除彩色图像外，高程数据通常也可用。这项工作的主要目的是通过集成这个高度信息来提高更快-RCNN对象检测算法的性能，这表明自己是特别提高性能。有趣的是，网络的结构播放了一个关键作用，通过直接添加高度信息作为第四图像信道，显示没有改进，而在骨干网络之后的集成以及在区域提议网络之后导致了显着的改进。这种效果持续存在很长的培训制度。增加这种高度信息的分辨率也表现出几乎没有效果。
translated by 谷歌翻译
There exist several methods that aim to address the crucial task of understanding the behaviour of AI/ML models. Arguably, the most popular among them are local explanations that focus on investigating model behaviour for individual instances. Several methods have been proposed for local analysis, but relatively lesser effort has gone into understanding if the explanations are robust and accurately reflect the behaviour of underlying models. In this work, we present a survey of the works that analysed the robustness of two classes of local explanations (feature importance and counterfactual explanations) that are popularly used in analysing AI/ML models in finance. The survey aims to unify existing definitions of robustness, introduces a taxonomy to classify different robustness approaches, and discusses some interesting results. Finally, the survey introduces some pointers about extending current robustness analysis approaches so as to identify reliable explainability methods.
translated by 谷歌翻译